HuatuoGPT-3: RL-Only Domain Adaptation from Base Models
HuatuoGPT-3：从基础模型出发的纯RL领域自适应
🧭 RL-only 大模型领域自适应训练
The Chinese University of Hong Kong, Shenzhen · Shenzhen Research Institute of Big Data · Shenzhen Loop Area Institute · National Health Data Institute, Shenzhen
提出OnePO，以自适应目标演化和教师退休实现RL-only领域自适应，在医学上用20K样本超越SFT+RL和纯RL
📌 工作参考价值（3 点）
- 借鉴 Teacher Retirement 机制：在 RLHF/LLM 微调时，若策略模型在验证集上的奖励或质量指标已稳定超过教师/参考模型，可自动切换为纯 on-policy 采样，避免陈旧教师分布限制探索，适合推荐文案、搜索 query 扩写等生成任务。
- Adaptive Objective Evolution 中强化低概率但有信息量的 token（如商品卖点、数字、属性词），可迁移到电商文案生成或搜索增强，让模型更准确覆盖关键低频 token。
- 仅用 RL 从 base model 开始领域适应，可减少 SFT 对生成多样性的压缩，对推荐理由、对话式推荐等需要多样性的场景有参考；但工程上需要解决冷启动，可采用教师输出作为快速启动的辅助数据。